VAD: Attributing Visual Evidence for Target Reconstruction in Multimodal On-Policy Distillation
VAD：多模态在策略蒸馏的视觉归因目标重构
🧭 多模态在策略蒸馏 · 反事实视觉归因
Shanghai Jiao Tong University · Xiaohongshu Inc. · The Chinese University of Hong Kong · Zhejiang University · Southeast University
通过反事实目标重构分离教师修正中的视觉可归因部分，提升多模态细粒度蒸馏效果
📌 工作参考价值（4 点）
- 电商多模态场景（商品图片理解、视觉问答）中，若存在特权教师（如高分辨率图），可用反事实方法计算视觉证据方向，重构更纯的监督信号，避免语言先验污染，提升学生模型细粒度识别能力。
- 在蒸馏训练时，将监督信号分解为视觉可解释部分和残差，仅用视觉部分作为主要目标，可借鉴到多模态搜索/推荐模型的特征对齐，抑制无关文本偏差。
- 反事实目标重构可作为一种通用原则，用于多模态Agent的决策归因，识别哪些视觉线索驱动了正确行为，从而指导针对性蒸馏。
- 分布式训练中，教师模型冻结评估两次（证据存在/移除）来计算代理方向，该方法可工程化实现，用于在线知识蒸馏以提升多模态模型鲁棒性。